Ông sinh làng Thịnh Xá, xã Sơn Thịnh, huyện Hương Sơn, tỉnh Hà Tĩnh. Năm 1963, ông tốt nghiệp Trường Trung học Phổ thông Huỳnh Thúc Kháng, thành phố Vinh, Nghệ An. Theo ông kể, cha ông khuyên nên theo học ngành toán, vì vào thời đó (1958-1963) vụ Nhân văn-Giai phẩm còn sôi động, để tránh khỏi rơi vào hoàn cảnh tương tự[1]. Năm 1967, ông tốt nghiệp Đại học Tổng hợp Hà Nội chuyên ngành toán học. Ông bảo vệ luận án tiến sĩ năm 1978, dưới sự hướng dẫn của Yuri Ivanovich Manin, với đề tài p-Adic Interpolation and the Mellin-Mazur Transform,[2] và là tiến sĩ khoa học năm 1984 tại Viện Toán học, Viện Hàn lâm Khoa học Liên Xô.

Ông được phong chức danh Phó giáo sư năm 1984 và Giáo sư năm 1991. Từ năm 2001-2007 ông là Viện trưởng Viện Toán học Việt Nam. Năm 2004, ông được bầu là Viện sĩ Viện Hàn lâm Khoa học thế giới thứ ba. Ông còn là Phó chủ tịch Hội Toán học Việt Nam, Ủy viên Hội đồng chức danh giáo sư Nhà nước, Chủ tịch Hội đồng chức danh giáo sư ngành Toán (2009-2015), ủy viên Hội đồng khoa học ngành Toán của Quỹ Nafosted.

GS Hà Huy Khoái là một nhà sư phạm có tài. Ông đã đào tạo ra nhiều học trò giỏi. Một trong số những học trò thành danh của ông là PGS.TS. Tạ Thị Hoài An - nữ toán học trẻ tuổi, xuất sắc của Viện Toán học.